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广电 网 络 安全 日 志 大 数据 分 析 的 探索 与 实践 


摘 要 : 为 解决 日 益 复杂 的 网 络 攻击 ， 通 过 对 广电 网 络 和 设备 日 志 的 分 析 ， 结 合 云端 提供 的 威胁 情报 ， 能 够 有 效 发 现 网 络 中 
存在 的 APT(Advanced Persistent Threat) 攻击 行为 , 快速 发 现 网 络 中 受 控 主 机 ,及 时 产生 告警 , 实现 对 海量 数据 进行 多 维度 快速 、 
自动 化 的 关联 分 析 发 现 威胁 和 对 异常 行为 的 态势 感知 ， 为 快速 分 析 、 定 性 、 处 置 提 供 可 视 化 辅助 手段 和 证 据 留 存 。 
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引言 

目前 ,广电 网 络 的 监 播 监测 ， 传 统 DVB 方面 已 比较 
到 位 ， 新 媒体 方面 也 日 趋 完 善 。 但 随 着 网 络 应 用 规模 和 
复杂 度 的 不 断 提 高 ， 网 络 中 传输 的 数据 量 急剧 上 升 ， 网 
络 攻防 对 抗日 趋 激 烈 , 企业 内 部 新 的 安全 问题 开始 显现 ， 
复杂 的 网 络 环境 让 安全 工作 无 从 下 手 ， 攻 击 考 即 便 是 大 
摇 大 摆 地 出 入 企业 的 敏感 数据 区 域 也 无 人 知晓 ,投入 了 
大 量 资金 建设 的 安全 防御 体系 可 能 成 为 摆设 ; 传统 安全 
技术 对 APT ( 高 级 持续 性 威胁 ) 无 能 为 力 ， 无 论 是 在 安 
全 威胁 的 检测 、 发 现 还 是 响应 、 漳 源 等 方面 都 存在 严重 
不 足 。 要 解决 这 些 新 的 安全 问题 ,企业 踢 须 使 用 新 的 技 
术 手 段 来 掌控 全 局 的 安全 态势 ,从 而 优化 安全 运营 过 程 ， 
将 企业 网 络 的 安全 风险 控制 在 合理 的 区 间 。《 中 华人 民 
共和 国 网 络 安全 法 出台 后 , 对 日 志 留 存 提出 了 强制 要 求 ， 
如 何 监督 各 地 做 好 网 络 安 全 日 制 留存 和 收集 ， 并 对 这 些 
日 志 开 展 统一 的 分 析 ， 是 企业 在 新 的 安全 形势 下 提升 安 
全 能 力 的 新 契机 。 

我 们 的 网 络 和 系统 在 运行 的 每 一 个 状况 信息 都 使 用 
文字 的 方式 记录 下 来 ， 称 之 为 日 志 ， 可 以 理解 为 这 是 普 
通 人 在 虚拟 世界 的 行为 的 记录 和 投影 。 日 志 的 类 型 很 多 ， 
包括 系统 日 志 、 应 用 日 志 、 操 作 行为 日 志和 数据 库 日 志 等 ， 
每 条 日 志 都 记载 着 时 间 截 、 相 关 设 备 名 称 、 使 用 者 及 操 
作 行 为 等 相关 的 描述 ， 将 这 些 日 志 统 一 收集 起 来 进行 分 
析 ， 一 是 可 以 监控 全 网 日 常 运行 状态 ， 分 析 问 题 、 追 查 
错误 根源 、 纠 正 错误 ; 二 是 能 够 快速 分 析 整 个 应 用 针对 
最 终 用 户 的 服务 质量 ; 三 是 分 析出 安全 风险 和 入 侵 攻击 ， 
及 时 干预 ,解除 威胁 。 

网 络 安 全 日 志 大 数据 分 析 系 统 是 基于 大 量 网 络 和 系 
统 日 志 ， 专 用 于 安全 风险 和 入 侵 攻击 分 析 的 系统 ， 系 统 
主要 由 数据 采集 、 关 联 分 析 、 态 势 感知 和 可 视 化 呈现 四 
个 模块 组 成 : (1 ) 数据 采集 模块 将 来 自 全 网 几 千 台 设备 
的 日 志 进 行规 则 化 处 理 ， 这 几 千 台 设 备 可 能 是 数 十 个 厂 
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商 的 产品 ， 类 型 有 防火 墙 、 堡 人 垒 机 、 入 侵 检 测 等 十 几 种 ， 
即使 是 同一 厂商 的 防火 墙 ， 由 于 生产 年 代 不 同 ， 日 志 格 
式 也 可 能 迎 异 ， 要 识别 这 些 设 备 的 日 志 格式 ， 将 有 效 信 
息 入 库存 储 是 整个 大 数据 分 析 系 统 的 基础 ; (2 ) 关联 分 
析 引 擎 是 这 个 系统 的 发 动机 ， 大 数据 就 如 同一 座 吕 待 开 
发 的 金 矿 ， 仅 仅 存储 起 来 是 没有 价值 的 ， 优 秀 的 分 析 引 
擎 使 用 先进 的 搜索 技术 ， 可 以 迅速 感知 到 异常 行为 和 黑 
客人 侵 ; (3 ) 态势 感知 模块 是 基于 威胁 情报 的 辅助 手段 ， 
将 互联 网 上 已 知 的 犯罪 手段 和 特征 输入 到 系统 中 ， 让 关 
联 分 析 引 擎 拥有 灵敏 的 嗅觉 (4) 可 视 化 模块 要 呈现 的 
言 息 ， 绝 不 是 简单 的 人 P 地 址 和 非 专业 人 士 看 不 懂 的 告警 
言 息 ， 要 能 够 呈现 入 侵 的 源 和 路 径 ， 并 将 关联 的 资产 、 
部 门 、 人 员 名 称 都 显示 出 来 。 
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1 系统 架构 设计 图 


最 终 我 们 的 目标 是 希望 这 个 基于 威胁 情报 和 日 志 的 
系统 ， 能 够 对 安全 大 数据 进行 快速 、 自 动 化 数据 分 析 ， 
全 方位 监测 、 发 现 威 胁 和 异常 、 快 速 处 置 与 响应 ， 并 针 
对 安全 事件 进行 深入 调查 。 系 统 通 过 可 视 化 分 析 技 术 将 
企业 总 体 安全 态势 进行 整体 呈现 ,使 安全 管理 人 员 和 运 
维 人 员 能 够 实时 掌握 安全 态势 状况 ， 主 动 发 现 安全 威胁 
并 及 时 处 理 ， 保 障 业 务 的 顺畅 运行 。 

网 络 安全 日 志 大 数据 分 析 系 统 的 铁 形 研发 完成 后 ， 
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我 们 选取 了 一 家 在 全 国 广电 网 络 公司 中 技术 实力 领先 的 
企业 一 浙江 华 数 共同 开展 探索 和 实践 。 在 实践 过 程 中 ， 
通过 对 各 地 广电 网 络 公司 播 出 、 传 输 等 环节 和 系统 的 广 
泛 调研 ， 以 及 和 系统 研发 人 员 的 深入 交流 ， 我 们 提升 了 
以 下 三 个 方面 的 能 力 ， 并 解决 了 一 个 广电 特色 的 日 志 采 
集 难题 。 
1.“ 全 方位 、 立 体 化 ”保证 数据 分 析 的 全 面 性 

在 实践 中 我 们 发 现 ， 网 络 的 物理 出 入 口 并 不 是 攻击 
者 进入 到 网 络 的 唯一 途径 ， 因此， 单纯 依靠 安全 设备 串 
行 防护 以 及 安全 设备 日 志 统 计 是 不 足以 发 现 高 级 风险 ， 
从 这 一 点 上 来 说 ,我们 把 PC、 智能 终端 、 企 业 员工 、 应 
用 软件 、 企 业 对 外 开放 的 网 络 服 务 的 全 终端 采集 ; 从 汇 
聚 层 交换 、 核 心 层 交 换 以 及 接 和 人 层 交 换 的 全 流量 数据 采 
集 ; 从 系统 级 别 日 志 、 数 据 日 志 、 安 全 设备 日 志 、 告 警 
日 志 的 全 日 志 采 集 。 通 过 三 种 方式 实现 “全 方位 ”的 能 力 。 
其 次 ， 要 充分 利用 云端 的 安全 资源 ， 在 新 的 安全 防 
御 体 系 中 ， 云 端的 安全 资源 是 整个 安全 防御 的 核心 ， 威 
胁 情报 和 大 数据 的 利用 和 关联 分 析 ， 这 些 数 据 给 未 知 威 
胁 发 现 和 APT 攻击 检测 提供 了 完全 真实 网 络 环境 下 的 大 
量 数据 支撑 ,通过 全 貌 特征 “跟踪 ”攻击 者 ， 持 续 的 发 
现 未 知 威胁 ,最终 确 保 发 现 的 未 知 威胁 的 准确 性 ， 进 而 
实现 和 完善 了 数据 分 析 的 全 面 性 , 提高 预警 发 现 的 能 力 。 
2. 威胁 情报 数据 分 类 分 级 和 合并 管理 

威胁 情报 是 基于 证 据 、 有 关 已 知 或 新 型 威胁 或 危害 
的 知识 ， 结 合 公司 内 部 的 组 织 中 安全 人 员 不 同 角 色 ， 可 
提供 精准 决策 参考 。 但 如 何 实现 自动 化 和 设备 化 处 理 这 
些 情 报 ， 并 借助 威胁 情报 数据 推动 攻击 行为 分 析 和 渊源 
查询 是 个 难题 。 

在 系统 设计 时 ， 首 先 我 们 把 威胁 情报 分 类 分 级 ; 其 
次 是 将 威胁 情报 数据 格式 化 统一 ， 并 且 将 威胁 情报 可 直 
接 和 本 地 大 数据 搜索 关键 词 进行 匹配 和 引用 ， 具备 上 述 
基础 后 才 可 以 对 网 络 攻击 行为 分 析 和 济源 查询 ， 结 合 搜 
索 技 术 的 数据 分 析 系 统 可 将 索引 以 多 个 分 片 和 多 个 副本 
的 形式 存储 于 分 布 式 系统 当中 ， 既 可 提高 检索 性 能 ， 又 
能 保证 威胁 数据 的 可 靠 性 和 准确 性 。 而 且 其 默认 使 用 的 
内 存 索引 方式 可 以 保证 系统 对 近期 录入 的 数据 做 到 近乎 
实时 的 查询 ， 对 于 存储 于 硬盘 的 TB 级 数据 也 可 做 到 秒 级 
查询 ， 对 全 部 数据 进行 数据 碰撞 和 本 地 风险 分 析 ， 用 来 
实现 基于 威胁 情报 数据 推动 的 攻击 行为 分 析 和 济源 查询 。 
3. 采用 大 数据 处 理 技术 来 提高 系统 效率 

系统 的 关联 分 析 核 心 技 术 是 基于 大 数据 搜索 的 大 数 
据 预警 监测 分 析 技 术 ， 提 升 数据 查找 能 力 是 关键 点 ， 在 
之 前 传统 的 方案 中 ， 对 于 本 地 数据 的 处 理 往 往 采 用 SQL 
等 关系 型 数据 库 。 这 种 设计 在 该 项 目的 当前 数据 量 的 处 
理性 能 需要 下 无 法 满足 系统 的 搜索 数据 和 数据 关联 。 因 
此 ， 本 系统 引入 大 数据 搜索 技术 ， 将 该 技术 平滑 融合 到 
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大 数据 预警 监测 分 析 及 防御 系统 中 ， 创 新 性 地 采用 搜索 
引擎 技术 作为 本 地 数据 存储 和 检索 核心 技术 ， 采 用 JSON 
格式 作为 引擎 的 输入 输出 格式 ， 在 实际 测试 中 发 现 这 样 
可 极 大 提高 检索 性 能 , 实现 了 TB 级 的 数据 快速 搜索 能 
同时 ， 相 比 传统 架构 也 能 够 降低 大 量 接口 上 的 开发 量 。 
这 个 技术 对 于 省 级 广电 网 络 规模 的 日 志 的 大 数据 分 
析 挖 掘 起 到 了 架构 基础 的 作用 ， 从 而 实现 了 对 大 数据 快 
速 存 储 、 提 取 、 分 析 工 作 ， 满 足 了 系统 在 数据 处 理 及 分 
析 阶 段 的 实时 、 高 效 、 并 发 、 可 靠 的 要 求 ， 同 时 也 提升 
了 预警 监测 发 现 的 时 间 效率 , 为 本 地 的 大 规模 数据 保存 、 
攻击 证 据 留存 和 查询 、 实 时 关联 分 析 提 供 坚 实 的 技术 保 
障 。 


这 套 系统 可 通过 省 公司 控制 中 心 进行 远程 配置 和 权 
限 受理 ， 系 统 整 体 部 署 成 本 低 ， 具 有 良好 的 可 扩展 性 ， 
大 大 减 小 各 地 分 公司 推广 部 署 的 技术 难度 ， 避 免 了 传统 
安全 方案 需要 多 次 上 线 的 安全 风险 和 硬件 成 本 ， 还 降低 
了 资源 消耗 以 及 运 维 成 本 。 在 系统 部 署 过 程 中 ,我们 还 
解决 了 一 个 广电 特色 的 日 志 采 集 难 题 ， 广电 DVB 直播 网 
络 实际 是 多 个 独立 小 局 域 网 组 成 的 ， 这 些小 网 的 卫 地 址 
还 可 能 是 重复 的 ， 如 何在 不 破坏 原 有 的 隔离 、 不 改变 原 
来 的 卫 地 址 的 情况 下 ， 保 持 各 局 域 网 的 相对 独立 又 要 把 
日 志 收 集 上 来 ， 是 一 个 巨大 的 挑战 。 


2 典型 的 地 市 前 端 部 署 拓 扑 图 


只 有 打破 围墙 式 的 防御 体系 ,将 这 些 安全 孤岛 整合 
起 来 ， 打 通 数 据 间 的 隔 闵 ， 形 成 企业 或 组 织 的 全 面 数 字 
安全 感知 体系 ， 才 能 真正 实现 安全 威胁 的 积极 防御 和 有 
效应 对 。 在 缺乏 总 局 指导 性 的 操作 规范 的 情况 下 ,我们 
和 华 数 一 起 做 了 大 胆 的 探索 ， 创 新 的 通过 防火 墙 将 这 些 
局 域 网 连 起 来 ， 使 得 网 络 之 间 继 续 保 持 隔 离 ， 但 都 能 给 
日 志 收 集 服务 器 传送 日 志 ， 并 将 日 志 的 源 地 址 都 自动 转 
换 为 规划 好 的 新 地 址 段 。 
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结语 
系统 目前 已 稳定 运行 将 近 一 年 ， 从 实际 效果 和 应 用 

情况 来 看 ， 原 先 没 有 这 套 系统 时 ， 省 公司 安全 工程 师 在 
日 常安 全 管理 可 谓 是 无 所 事 事 , 完全 看 不 到 各 地 的 情况 ， 
只 能 被 动 地 对 安全 事件 进行 响应 。 系 统 建 成 后 ， 提 供 了 
整套 “事前 预警 + 事 中 防护 + 事后 服务 ”的 全 省 预警 
监测 分 析 及 防御 解决 手段 ,借助 横向 拓展 的 大 数据 能 

和 分 析 能 力 ， 实 现 了 广泛 维度 的 海量 数据 采集 、 处 理 、 
展现 ， 并 将 综合 检测 的 结果 与 快速 响应 处 置 及 深入 的 调 
查分 析 进 行 结合 ， 形 成 安全 事件 处 置 闭环 ， 极 大 地 提升 
了 安全 运 维 的 有 效 性 ， 保 障 业务 顺畅 运行 。 轴 
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色 通 道 ”， 不 断 提 高 舆论 引导 的 有 效 性 ， 严 防 有 害 信息 
及 言论 的 扩散 ， 牢 牢 把 握 和 与 论 引 导 的 主动 权 ， 为 我 国 改 
革 开 放 和 现代 化 建设 营造 良好 的 与 论 氛 围 。 
3. 3 有 利于 实现 自主 技术 创新 ， 推 动 媒体 转型 发 展 

本 项 目 在 技术 上 、 功 能 上 和 服务 上 实现 全 面 创 新 ， 
这 必 将 推动 我 国 大 数据 产业 实现 自主 技术 创新 ， 从 而 推动 
我 国 互联 网 行业 更 加 健康 快速 地 发 展 。 本 项 目的 建设 ， 对 
国家 信息 安全 和 文化 安全 、 对 于 抵御 西方 文化 霸权 、 争 夺 


信息 舆论 话语 权 、 引 导 社 情 民意 ， 具 有 重大 意义 。 晶 
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